import requests
# 请求
from bs4 import BeautifulSoup
# 解析
url='https://shuihu.5000yan.com/'
# 西游记目录
file=open('Week_ Four/data/水浒传.txt','w', encoding='utf-8')
# 文本写入对象，指定编码为 utf-8
response=requests.get(url)
# 请求目录页
soup=BeautifulSoup(response.content)
# 解析目录页
xiyouji_chapters=soup.find('div',class_='p-3 my-2 bg-white rounded').ul.children
# 获取章回内容
for cpt in xiyouji_chapters:
    # 迭代访问章节内容
    if cpt!='\n' and cpt is not None:
        link=cpt.a.get('href')
        # 获取章节地址
        cpt_page=requests.get(link)
        # 请求章节页面
        cpt_content=BeautifulSoup(cpt_page.content).find('div',class_='py-2 px-2 px-md-4 bg-white divider')
        # 获取章节内容
        #file.write('\n'+cpt_content.text+'\n')
        # 去除多余空行
        lines = cpt_content.text.splitlines()
        non_empty_lines = [line for line in lines if line.strip()]
        filtered_text = '\n'.join(non_empty_lines)
        file.write('\n'+filtered_text+'\n')
        # 写入本地文本
file.flush()
# 把缓存中的数据写入文本
file.close()
# 关闭文本流